package cn.doitedu.day02.partitions

import cn.doitedu.day01.utils.SparkUtil
import org.apache.spark.rdd.RDD

/**
 * @Date 22.3.29
 * @Created by HANGGE
 * @Description
 */
object C01_PartitionNumber03 {
  def main(args: Array[String]): Unit = {
    val sc = SparkUtil.getSc
    val rdd1: RDD[String] = sc.textFile("data/word.txt")
    // 调用算子   将每行的数据变成大写
    val rdd2 = rdd1.map(_.toUpperCase)
    val rdd3 = rdd2.flatMap(_.split("\\s+"))
    val rdd4 = rdd3.map((_, 1))

    rdd4.groupByKey(3)    // 2  // shuffle  数据的分发  0  1 0 2

    rdd4.groupByKey(3)    // 2  // shuffle  数据的分发  0  1 0 2

  }


}
